Sima Qian dilahirkan tahun 145 SM di Longmen (sekarang Provinsi Shanxi), yang bertepatan pada tahun kelima pemerintahan Maharaja Jing dari Dinasti Han Timur (25 SM – 220 SM).[1] Ayahnya, Sima Tan dilantik sebagai Sejarawan atau Jurutulis Agung pada tahun 140 SM, seluruh keluarganya berpindah ke Mao Ling, sebuah kota yang dibangunkan oleh Maharaja Han Wu sebagai suatu makam diraja persendirian, tidak lama selepas itu.[2]

Pada usia 10 tahun, Sima Qian mulai berguru dengan Kong Anguo mempelajari karya-karya lama Tionghua.[4] Beliau turut banyak bergaul dengan penghuni kota Mao Ling sehingga bakatnya terasah.[2]

Ketika berusia 20 tahun, beliau mengadakan perjalanannya yang pertama.[1][2][3][4] Beliau bepergian dari utara ke selatan, sepanjang Sungai Kuning dan Sungai Yangtze.[1][2][3][4] Beliau juga mendaki gunung Hui Ji untuk menjelajah kuburan Yu, pendiri Dinasti Xia yang terkenal dan pergi ke gunung Jinyi di provinsi Hunan untuk menyelidiki tanah pemakaman Shun, raja terkenal dari Cina kuno.[3] Perjalanan berikutnya melalui sungai Yuan dan Xiangjiang kemudian menuju utara sepanjang sungai Wen dan Si.[3] Kemudian ke Sungai Buluo tempat penyair patriotik Qu Yuan melompat bunuh diri setelah mengalami ketidakadilan.[3] Tempat bersejarah lain yang dia kunjungi adalah kota benteng Xiehe yang merupakan tempat raja-raja Chu dan Han bertempur demi kekuasaan. Dan dalam perjalanan pulang ke Chang'an, dia melalui negara bagian Liang dan Chu.[3]